某中小银行实践分享：基于 SVC+F900 存储架构升级提升全行数据安全和业务连续性
【摘要】本文详细介绍了某银行生产中心存储架构升级项目的设计和实施中的重点。
【作者】孙浩，目前就职于某中小银行，负责系统运维和建设。09年加入IBM，从事系统维护工作，主要维护IBM主机和存储硬件以及AIX，PowerVM等系统产品。负责政府、金融、通信等行业系统工作，参与并实施新系统上线，基于IBM D8000主备容灾中心搭建、PowerVM虚拟化等各种系统运维项目。
1. 项目建设背景
随着我国信息科技水平的不断提高，信息科技已经深入融合到国民经济发展的方方面面，国民经济的正常运行对信息化的依赖程度越来越高，其中银行业作为国民经济的重要行业，支撑着我国经济的高速发展，面临的信息化建设要求也是越来越高。经济的高速发展，意味着资金的快速流转，银行业作为我国金融行业的重要组成部分，承担着大量资金流转的作用。伴随着银行业信息化建设的快速发展，信息科技已经成为银行核心竞争力的重要组成部分。
随着金融改革的不断深入，互联网经济的深度融合，银行业面临的更加复杂的环境，对于信息科技提出了更高的要求，同时也是银行业信息科技发展的一大机遇。银行信息科技作为银行正常运行的重要支撑，同时，信息科技建设与业务发展的不断融合，银行信息科技建设的健壮性、可靠性，可以说，起着银行发展的基石作用。
同时，监管层对于银行信息科技的重视程度越来越高，要求也在不断提高，并且在《商业银行信息科技风险管理指引》中参照国际国内的标准和成功实践，对商业银行信息科技整个生命周期内的信息安全、业务连续性管理和外包等方面提出高标准、高要求，鼓励商业银行不断提升信息科技风险管理水平。
结合某行的业务特点，不断提高信息科技水平，保障业务连续，作为信息科技建设的重要目标。
2. 当前银行数据中心架构
某行数据中心建设于2016年，参考当时的同行案例和本行业务特点，总体上采用应用虚拟化集群+数据库双机部署的服务器架构，其中数据库服务器分别采用IBM小型机和X86物理服务器双机，应用采用X86虚拟化集群，保障应用和数据库的高可用，底层存储采用集中式SAN存储，IBM V7000。
虚拟化采用VMWARE集群，应用全部部署在虚拟机上，通过虚拟化技术提高服务器资源利用率，对比传统物理机部署方式，降低X86服务器的采购数量和成本。
应用服务器采用双机并且部署在不同物理服务器，配合前端F5负载均衡方式，实现应用高可用。
VMWARE集群为比较成熟的商业虚拟化解决方案，在金融及其他行业有成熟的实际部署和解决方案，相关的技术人员也比较多，应用生态良好。
数据库服务器采用IBM小型机+X86物理服务器，双机部署oracle RAC数据库集群，实现高可用。考虑成本和可靠性，核心部分数据库部署在IBM小型机，其他数据库部署在X86服务器。
不同的架构有不同的特点，适合自身环境最为重要。考虑某行的规模、人员配备和业务场景，以上架构相对传统全物理机部署，节约了大量采购成本；涉及到总体的科技人员数量和当年开源解决方案的成熟度以及开源方案所需要的人力投入，某行采用成熟的商业解决方案，节约了上线后相关的运维成本和人力成本。此架消除了硬件的单点故障，满足高可用的需求，经过近3年多的实际运行，证明了此架构的健壮性和可靠性。
存储统一采取SAN存储，型号为IBM V7000，光纤交换机为2台型号为IBM F48的48端口16Gb光纤交换机。
灾备中心存储架构同样为IBM V7000+F48，主备数据中心通过Global Mirror和IP网络实现数据的异步复制。
存储部分，V7000硬件架构上采用双电源，双控制器架构，消除本身的故障单点，实现本身的高可用运行。支持扩展至9个扩展柜，基本能够满足容量扩展需求。
并且，V7000支持Metro Mirror, Globa Mirror等存储复制方案，实现存储级的容灾方案，基于IBM V7000 Globa Mirrror，加上IP网络，实现生产数据中心到灾备中心的数据复制。
当前主备中心架构：
服务器高可用方面，通过虚拟化集群和负载均衡的组合实现了应用的高可用；数据库服务器通过搭建双机集群，也实现了高可用。目前，只有V7000作为数据单点在运行，需要优先解决。
3. 银行生产中心存储架构升级
为了解决V7000存储单点运行，准备进行存储架构升级。因为目前数据库操作系统已经运行的多路径软件以及对应虚拟化数据卷迁移，为了最大限度的减少存储架构升级带来的影响，最终选择SVC存储方案，SVC和V7000共用操作系统多路径软件，同时SVC管理原V7000 LUN采用image-mode，对于数据无影响，上层数据库对于迁移无感知。
某行业务量不大，但是存储的读操作很多，本次存储架构升级引入F900闪存存储，通过闪存的高性能，解决读操作性能问题。
因为SVC和V7000在架构上的继承性，容灾架构继续采用Global Mirror with CV方式，解决GM方式由于带宽不足和链路抖动带给生产端存储的性能影响。
SVC提供两种主备中心数据同步方式：Metro Mirror 和Global Mirror。
Metro Mirror为数据同步复制，即写入操作发起，生产和灾备中心存储都完成各自的写入操作，才会返回主机写操作完成的回应。Metro Mirror实现主备中心数据的完全一致，RPO为0。
Metro Mirror数据复制示意图，数字为按顺序发生
Metro Mirror保障了数据的一致性，但是对于链路带宽和质量要求较高，链路的不稳定，直接影响生产，通常采用双运营商线路，保障链路的可靠性，成本高。
Global Mirror数据复制方式，为异步复制，来自服务器的写操作在本地存储完成后，就会收到存储写操作完成的回应。SVC会后台向灾备中心SVC节点，发起数据同步。此种方式RPO>0，生产和灾备中心数据一致性上会有延迟，具体延迟时间，依赖链路带宽和链路延迟。
Global Mirror示意图
只要链路带宽满足，Global Mirror基本可以保障生产端存储性能不受影响，主备中心距离没有要求，同时实现生产灾备中心数据的基本一致。SVC提供了清晰友好的操作页面，操作起来非常简便。
存储架构升级完成后，实现生产中心通过SVC的V7000和F900之间的VDM，加上主备中心SVC之间的Global Mirror数据同步，实现了解决生产中心V7000单点运行问题，充分保障生产中心数据安全，同时实现了数据的异地保护。
结合上层应用端的日常管理和F5负载，实现了灾备中心时刻standby状态，实现了灾备中心可以随时启用，解决了灾备中心在传统方式中，处于闲置状态的问题。同时无需第三站点来仲裁。第三站点通常作为生产中心和灾备中心之间的仲裁节点，用于判断哪一方处于故障状态，哪一方处于正常状态，防止数据同步过程中出现脑裂现象。带来的是第三方数据中心的费用和大量的链路租赁费用。采用Global Mirror方式，省下了第三方站点，节约了大量成本。
主备中心部署SVC，也为日后升级双活数据中心提供了架构灵活性的基础。
4. 存储架构升级项目设计
升级后的生产数据中心存储架构会是如下结构：
存储网络上串联进SVC，位于后端数据存储和上层服务器中间，统一管理后端数据存储。
主备中心整体架构如下：
如上图所示，核心存储架构升级改造项目生产中心存储部分包括1台IBM F900磁盘阵列、4台SVC这2部分，所有设备分别放置在生产机房和灾备机房中。
存储系统设计通过虚拟化为服务器提供存储空间：
存储系统虚拟化
SAN架构改造完成之后，部署存储虚拟化解决方案——IBM SVC，利用IBM SVC的存储虚拟化技术实现存储设备的整合。
在本项目中，将分别在生产中心和灾备中心各两个node的SVC和一个V7000扩展柜以及在生产中心部署一台F900闪存存储，利用整改完成的SAN网络和交换机的Zone功能，首先完成SVC和F900产品的部署，其次基于部署的SVC、F900和V7000存储，完成对生产中心和灾备中心存储设备的虚拟化。
生产中心存储虚拟化实施完成后，将通过SVC的VDM功能实现生产中心F900和V7000之间的存储靠可用集群，VDM数据完全同步后，将Preferred copy设置到F900上，可以大幅度提升现有生产中心存储系统的读性能。
虚拟化过程如下所述：
现有磁盘阵列空间映射到IBM SVC之后，SVC内部将所映射的磁盘LUN当作mdisk（Manage Disk）进行处理，利用MDG（Manage Disk Group）进行“资源池化”，然后在此基础之上进行虚拟盘vdisk（virtual disk）的创建和映射，从而实现物理到逻辑的转换。此后，前端服务器和SVC的虚拟盘vdisk进行通信，并且也只能和虚拟盘进行通信，不能和现有的后端磁盘阵列通信，因此屏蔽掉后端物理磁盘，后端物理磁盘的改变不会影响前端服务器对虚拟盘的使用。因此能够灵活的对后端物理资源进行灵活的调整，能够满足前端变化的业务需求，从而达到了基础架构建设的目的。
IBM SVC在生产中心和灾备中心完成虚拟化部署之后，利用image mode来实现存储的虚拟化整合，在整合过程中不会破坏现有磁盘阵列上面的数据。当SVC设备出现问题无法使用，可以将存储直连主机，存储中的数据可被主机识别直接使用。
通过SVC实现了存储的高可用服务，使应用不是数据存储服务器的硬件故障影响，即使V7000或者F900发生严重故障，或者需要停机维护，上层应用无需停机，数据访问连续，应用可以连续运行，提升了整体系统的连续性。
利用Image mode来实现存储的虚拟化整合，在整合过程中不会破坏现有磁盘阵列上面的数据。当SVC设备出现问题无法使用，可以将存储系统直连主机，存储中的数据可被主机识别直接使用。
SVC配置性能更高的硬件配置，数据复制更加高效。
SVC整合了后端存储，统一管理存储系统，把多个存储系统整合成单一的存储池，其兼容市面上常见主机系统和存储产品，后续如果有其他品牌存储接入，容灾数据复制可以继续采用SVC方式，整合了数据复制方式，节约了异构存储之间的容灾方式，节约线路成本。
未来如果有数据存储升级或者替换的计划，通过SVC VDM，数据迁移过程无需停机，在线完成，减少应用中断时间。
5. 项目实施
项目的顺利实施，离不开前期完善的项目计划，如下列出来了项目中的着重点：
5.1 实施的前提条件
新增设备上架工作完成；
设备供电已到位，所有设备均已上电验收完毕；
SAN网络及IP管理网络升级改造完毕；
F900闪存存储按照规划部署完毕；
SVC双节点集群在生产中心及灾备中心部署完毕；
完成现有系统所有配置信息的收集；
所有系统均已下线并完成关键数据的备份；
断开生产中心和灾备中心V7000之间的Globe Mirror关系。
5.2 存储架构升级改造实施范围
5.2.1 生产中心存储架构升级改造涉及到的实施内容
双节点SVC集群的组建；
虚拟化管理存储：IBM F900存储、IBM V7000；
项目相关服务器改造多路径软件；
虚拟化存储资源分配给相应服务器；
SVC功能演示及功能测试；
和灾备中心之间通过SVC实现Globe Mirror远程复制；
生产中心所有应用上线并验证数据和功能是否完整；
生产中心F900和V7000通过VDM功能实现本地存储高可用。
5.2.2 灾备中心存储架构升级改造涉及到的实施内容
双节点SVC集群的组建；
虚拟化管理存储：IBM V7000；
项目相关服务器改造多路径软件；
虚拟化存储资源分配给相应服务器；
SVC功能演示及功能测试；
和生产中心之间通过SVC实现Globe Mirror远程复制；
5.3 实施具体规划
5.3.1 SAN网络和实施：
生产中心部署2节点SVC集群，设备安装在用户指定的机柜中，每个节点通过8条光纤链路分别上联至两台SAN交换机，具体连接拓扑如下：
F900 SAN网连接图：
F900闪存存储部署在指定的机柜中，采用8条光纤链路分别与生产中心两台SAN交换机进行连接，连接图如下：
SAN交换机配置改造：
1，保存SAN交换机当前配置；
zoneshow;cfgshow;switchshow等信息
2，增加SVC相关zone配置：
各功能单独创建zone: svc1和svc2节点通信zone；svc_v7000和svc_F900后端存储zone；svc_host zone，单独建zone，后期梳理配置和故障排除会大大节省时间
5.3.2 F900创建对应的LUN
结合现有V7000 LUN大小，F900对应创建相关的LUN，保持大小一致；
5.3.3 V7000停止现有Global Mirror复制
停止现有主备中心之间的V7000 Global Mirror数据复制；
5.3.4 V7000和F900映射SVC
在V7000和F900中创建SVC host，将需要改造架构的LUN映射SVC；
SVC创建V7000和F900资源池，分别将LUN加入资源池，其中V7000卷采用image-mode。
5.3.5 服务器停止应用
物理服务器：
1，停止应用；
2，卸载卷组；
3，删除磁盘；
4，导入磁盘及卷组信息；确认磁盘及卷组信息完全恢复
虚拟机集群：
1，停止虚拟机；
2，卸载datastore；
3，删除磁盘；
4，添加新datastore及导入虚拟机；确认磁盘及卷组信息完全恢复
5.3.6 创建V7000和F900的VDM
SVC中创建V7000和F900的VDM，待数据同步后，将F900设置为优先卷，优先从F900读操作，提升性能。
5.3.7 灾备中心实施和数据同步
按照生产中心步骤，灾备中心改造SAN结构，加入SVC，待主备中心存储架构改造完成后，添加Global Mirror配置。
6. 总结和展望
总体来看，存储架构升级后，大大提升了数据安全性和业务连续性。也增加了存储架构的灵活性，为日后的存储架构改造提供了更多的可能。
架构还有提升的空间，比如根据不同的业务读写类型进行分类，后续会根据某行的发展，进行下一步的工作。
在实现了数据级别的主备中心复制之后，后续会进行主备中心线路的提升改造，提高线路带宽和可靠性，探索双活数据中心的运行模式。
同时建立健全信息科技的业务连续性流程，提高业务运行连续性。现代银行业的运行对信息科技的依赖程度越来越高，业务连续性不只是信息科技的连续性，是一整套完善的运行体系，信息科技在其中起着重要的作用，完善提高信息科技连续性，更好的支撑某行发展，是信息科技持续的目标。
原题：某中小银行基于 SVC+F900 存储架构升级提升全行数据安全和业务连续性 如有任何问题，可点击文末阅读原文到社区原文下评论交流，也可下载原文档
资料推荐：
SpectrumVirtualize 830 Technical Update（SVC 8.3.0新版本功能介绍）
http://www.talkwithtrend.com/Document/detail/tid/427959
IBM FlashSystem 900产品手册
http://www.talkwithtrend.com/Document/detail/tid/425193
欢迎关注社区以下技术主题，将会不断更新优质资料、文章。地址：
闪存：http://www.talkwithtrend.com/Topic/36719
存储虚拟化：http://www.talkwithtrend.com/Topic/149
SVC：http://www.talkwithtrend.com/Topic/943
下载 twt 社区客户端 APP
与更多同行在一起
高手随时解答你的疑难问题
轻松订阅各领域技术主题
浏览下载最新文章资料
长按识别二维码即可下载
或到应用商店搜索“twt”
*本公众号所发布内容仅代表作者观点，不代表社区立场